Rethinking Neural Thickets Without Weight Perturbations
无权重扰动的神经丛林机制重审
🧭 推理时集成 · 输出空间扰动
Kyutai · Meta FAIR · LIGM, CNRS, Univ Gustave Eiffel, ENPC, IP Paris · UC Berkeley · Google DeepMind
证明Neural Thickets的推理增益可仅凭冻结模型输出logit随机偏置、验证集选择与投票复现
📌 工作参考价值（4 点）
- 在LLM生成推荐理由、商品文案、搜索词改写等推理链路里，可对logits加小随机偏置，再结合验证集或业务指标选高质输出投票；无需微调或权重扰动，部署仅改输出层，适合线上快速实验。
- PSV提供比单纯采样自一致性更可控的多样性来源：显式logit偏置可以调节多样性与质量的权衡，比温度采样更容易复现和A/B。
- 验证集选择可复用已有业务标注或线上反馈作为小验证池，淘汰低质扰动输出，降低投票噪声；对推荐系统里的开放域文本生成（如push文案、搜索query）尤其有用。
- 一阶分析表明小权重扰动≈logit平移，如果已有weight perturbation ensemble，可直接替换为logit PSV，省去多份模型权重存储和推理成本。